The development of deep learning models in medical image analysis is majorly limited by the lack of large-sized and well-annotated datasets. Unsupervised learning does not require labels and is more suitable for solving medical image analysis problems. However, most of the current unsupervised learning methods need to be applied to large datasets. To make unsupervised learning applicable to small datasets, we proposed Swin MAE, which is a masked autoencoder with Swin Transformer as its backbone. Even on a dataset of only a few thousand medical images and without using any pre-trained models, Swin MAE is still able to learn useful semantic features purely from images. It can equal or even slightly outperform the supervised model obtained by Swin Transformer trained on ImageNet in terms of the transfer learning results of downstream tasks. The code will be publicly available soon.
translated by 谷歌翻译
这项研究提出了一种基于深度学习的超声（US）图像引导放射疗法的跟踪方法。拟议的级联深度学习模型由注意力网络，基于掩模区域的卷积神经网络（Mask R-CNN）和长期短期记忆（LSTM）网络组成。注意网络从美国图像到可疑的具有里程碑意义的运动区域，以减少搜索区域。然后，面膜R-CNN在减少区域中产生多个利益区域（ROI）建议，并通过三个网络头确定拟议的地标：边界框回归，提案分类和地标分段。 LSTM网络对连续的图像框架之间的时间关系建模，以进行边界框回归和建议分类。为了合并最终建议，根据顺序框架之间的相似性设计选择方法。该方法在肝脏美国跟踪数据集中测试了医疗图像计算和计算机辅助干预措施（MICCAI）2015年的挑战，其中有三位经验丰富的观察者注释了地标，以获得其平均位置。在24个鉴于我们具有地面真相的序列的24个序列上，所有地标的平均跟踪误差为0.65 +/- 0.56毫米，所有地标的误差均在2 mm之内。我们进一步测试了从测试数据集中的69个地标上提出的模型，该模型具有与训练模式相似的图像模式，从而导致平均跟踪误差为0.94 +/- 0.83 mm。我们的实验结果表明，我们提出的方法使用US图像跟踪肝解剖学地标的可行性和准确性，为放射治疗期间的主动运动管理提供了潜在的解决方案。
translated by 谷歌翻译
对发展有说服力的文本的兴趣日益兴趣促进了自动化系统中的应用，例如辩论和论文评分系统；但是，从争论的角度来看，先前的工作挖掘图像说服力几乎没有。为了将说服力开采扩展到多模式领域，我们提出了一个多模式数据集，ImageArg，由推文中图像说服力的注释组成。注释是基于我们开发的说服分类法来探索图像功能和说服力的手段。我们使用广泛使用的多模式学习方法在Imakearg上基于图像说服力。实验结果表明，我们的数据集为这个丰富而充满挑战的主题提供了有用的资源，并且有足够的空间来建模改进。
translated by 谷歌翻译
基于文本的游戏（TBG）是复杂的环境，允许用户或计算机代理进行文本交互并实现游戏目标。为基于文本的游戏构建面向目标的计算机代理是一项挑战，尤其是当我们使用逐步反馈作为模型的唯一文本输入时。此外，代理商很难通过从更大的文本输入空间中评估灵活的长度和形式。在本文中，我们对应用于基于文本的游戏字段的深度学习方法进行了广泛的分析。
translated by 谷歌翻译
自我监督学习的一个重要目标是使模型预训练能够从几乎无限的数据中受益。但是，一种最近变得流行的方法，即掩盖图像建模（MIM），被怀疑无法从较大的数据中受益。在这项工作中，我们通过广泛的实验打破了这一误解，数据量表从10 \％imagenet-1k到完整的Imagenet-22K，型号的尺寸从4,900万到10亿，培训长度从125k迭代到500k迭代迭代范围不等。我们的研究表明：（i）蒙版的图像建模也要求对较大的数据进行要求。我们观察到，非常大的模型被相对较小的数据过度。 （ii）培训的时间长度。接受掩盖图像建模训练的大型模型可以从更多的数据中受益，并具有更长的培训。 （iii）预训练中的验证损失是衡量模型在多个任务上进行微调的表现的好指标。该观察结果使我们能够预先评估预训练的模型，而无需对下游任务进行昂贵的试用和错误评估。我们希望我们的发现能够从缩放能力方面提高对蒙版图像建模的理解。
translated by 谷歌翻译
联合学习已被提议作为隐私的机器学习框架，该框架使多个客户能够在不共享原始数据的情况下进行协作。但是，在此框架中，设计并不能保证客户隐私保护。先前的工作表明，联邦学习中的梯度共享策略可能容易受到数据重建攻击的影响。但是，实际上，考虑到高沟通成本或由于增强隐私要求，客户可能不会传输原始梯度。实证研究表明，梯度混淆，包括通过梯度噪声注入和通过梯度压缩的无意化混淆的意图混淆，可以提供更多的隐私保护，以防止重建攻击。在这项工作中，我们提出了一个针对联合学习中图像分类任务的新数据重建攻击框架。我们表明，通常采用的梯度后处理程序，例如梯度量化，梯度稀疏和梯度扰动，可能会在联合学习中具有错误的安全感。与先前的研究相反，我们认为不应将隐私增强视为梯度压缩的副产品。此外，我们在提出的框架下设计了一种新方法，以在语义层面重建图像。我们量化语义隐私泄漏，并根据图像相似性分数进行比较。我们的比较挑战了文献中图像数据泄漏评估方案。结果强调了在现有联合学习算法中重新审视和重新设计对客户数据的隐私保护机制的重要性。
translated by 谷歌翻译
在本文中，我们提出了一种新的共同学习框架（COSSL），具有解耦的表示学习和分类器学习，用于实施SSL。为了处理数据不平衡，我们为分类器学习设计了尾级功能增强（TFE）。此外，Imbalanced SSL的当前评估协议仅针对均衡测试集，在现实世界方案中具有有限的实用性。因此，我们进一步在各种转移试验分布下进行了综合评价。在实验中，我们表明我们的方法优于大量移位的分布，在基准数据集中实现最先进的性能，从CiFar-10，CiFar-100，Imagenet到食品-101。我们的代码将公开可用。
translated by 谷歌翻译
本文介绍了Simmim，这是一个简单的蒙面图像建模框架。我们在没有特殊设计的情况下简化了最近提出的相关方法，例如通过离散VAE或聚类的块状掩蔽和令牌化。要研究蒙版图像建模任务学习良好的表示，我们系统地研究了我们框架中的主要组成部分，并发现每个组件的简单设计揭示了非常强烈的表示学习性能：1）用中等的输入图像随机掩蔽输入图像大型蒙面贴片尺寸（例如，32）进行了强大的文本前任务; 2）通过直接回归预测RGB值的原始像素不比具有复杂设计的补丁分类方法更差; 3）预测头可以像线性层一样光，性能比较重的形式更差。使用VIT-B，我们的方法通过预训练在此数据集上进行预培训，我们的方法在ImageNet-1K上实现了83.8％的精细调整精度，超过了以前最佳方法+ 0.6％。当应用于大约6.5亿参数的更大模型时，SwinV2-H，它在Imagenet-1K上使用Imagenet-1K数据实现了87.1％的前1个精度。我们还利用这种方法来促进3B模型（SWINV2-G）的培训，比以前的实践中的数据减少40美元，我们在四个代表性视觉基准上实现了最先进的。代码和模型将在https://github.com/microsoft/simmim公开使用。
translated by 谷歌翻译
联合学习（FL）是一种保护隐私的范式，其中多个参与者共同解决机器学习问题而无需共享原始数据。与传统的分布式学习不同，FL的独特特征是统计异质性，即，跨参与者的数据分布彼此不同。同时，神经网络解释的最新进展已广泛使用神经切线核（NTK）进行收敛分析。在本文中，我们提出了一个新颖的FL范式，该范式由NTK框架赋予了能力。该范式通过传输比常规FL范式更具表现力的更新数据来解决统计异质性的挑战。具体而言，通过样本的雅各布矩阵，而不是模型的权重/梯度，由参与者上传。然后，服务器构建了经验内核矩阵，以更新全局模型，而无需明确执行梯度下降。我们进一步开发了一种具有提高沟通效率和增强隐私性的变体。数值结果表明，与联邦平均相比，所提出的范式可以达到相同的精度，同时将通信弹的数量减少数量级。
translated by 谷歌翻译
Federated learning allows collaborative workers to solve a machine learning problem while preserving data privacy. Recent studies have tackled various challenges in federated learning, but the joint optimization of communication overhead, learning reliability, and deployment efficiency is still an open problem. To this end, we propose a new scheme named federated learning via plurality vote (FedVote). In each communication round of FedVote, workers transmit binary or ternary weights to the server with low communication overhead. The model parameters are aggregated via weighted voting to enhance the resilience against Byzantine attacks. When deployed for inference, the model with binary or ternary weights is resource-friendly to edge devices. We show that our proposed method can reduce quantization error and converges faster compared with the methods directly quantizing the model updates.
translated by 谷歌翻译